无监督域适应(UDA)旨在将知识从标记的源域传输到未标记的目标域。传统上,基于子空间的方法为此问题形成了一类重要的解决方案。尽管他们的数学优雅和易腐烂性,但这些方法通常被发现在产生具有复杂的现实世界数据集的领域不变的功能时无效。由于近期具有深度网络的代表学习的最新进展,本文重新访问了UDA的子空间对齐,提出了一种新的适应算法,始终如一地导致改进的泛化。与现有的基于对抗培训的DA方法相比,我们的方法隔离了特征学习和分配对准步骤,并利用主要辅助优化策略来有效地平衡域不契约的目标和模型保真度。在提供目标数据和计算要求的显着降低的同时,基于子空间的DA竞争性,有时甚至优于几种标准UDA基准测试的最先进的方法。此外,子空间对准导致本质上定期的模型,即使在具有挑战性的部分DA设置中,也表现出强大的泛化。最后,我们的UDA框架的设计本身支持对测试时间的新目标域的逐步适应,而无需从头开始重新检测模型。总之,由强大的特征学习者和有效的优化策略提供支持,我们将基于子空间的DA建立为可视识别的高效方法。
translated by 谷歌翻译
在本文中,我们在应用惯性监禁融合中的多模式数据之前,使用高度球形的Wasserstein AutoEncoder(WAE)。与需要从von MIS FISHER这样的分布的计算上采样计算的典型超球的生成模型不同,我们从发电机前后的正态分布采样。最后,为了确定所生成的样本的有效性,我们利用数据集中的模式之间的已知关系作为科学约束,研究所提出的模型的不同特性。
translated by 谷歌翻译
Mixup is a popular data augmentation technique based on creating new samples by linear interpolation between two given data samples, to improve both the generalization and robustness of the trained model. Knowledge distillation (KD), on the other hand, is widely used for model compression and transfer learning, which involves using a larger network's implicit knowledge to guide the learning of a smaller network. At first glance, these two techniques seem very different, however, we found that ``smoothness" is the connecting link between the two and is also a crucial attribute in understanding KD's interplay with mixup. Although many mixup variants and distillation methods have been proposed, much remains to be understood regarding the role of a mixup in knowledge distillation. In this paper, we present a detailed empirical study on various important dimensions of compatibility between mixup and knowledge distillation. We also scrutinize the behavior of the networks trained with a mixup in the light of knowledge distillation through extensive analysis, visualizations, and comprehensive experiments on image classification. Finally, based on our findings, we suggest improved strategies to guide the student network to enhance its effectiveness. Additionally, the findings of this study provide insightful suggestions to researchers and practitioners that commonly use techniques from KD. Our code is available at https://github.com/hchoi71/MIX-KD.
translated by 谷歌翻译
独立组件分析是一种无监督的学习方法,用于从多元信号或数据矩阵计算独立组件(IC)。基于权重矩阵与多元数据矩阵的乘法进行评估。这项研究提出了一个新型的Memristor横杆阵列,用于实施ACY ICA和快速ICA,以用于盲源分离。数据输入以脉冲宽度调制电压的形式应用于横梁阵列,并且已实现的神经网络的重量存储在Memristor中。来自Memristor列的输出电荷用于计算重量更新,该重量更新是通过电压高于Memristor SET/RESET电压执行的。为了证明其潜在应用,采用了基于ICA架构的基于ICA架构的拟议的Memristor横杆阵列用于图像源分离问题。实验结果表明,所提出的方法非常有效地分离图像源,并且与常规ACY的基于软件的ACY实施相比,与结构相似性的百分比相比,结构相似性的百分比为67.27%,图像的对比度得到了改进。 ICA和快速ICA算法。
translated by 谷歌翻译
部署的ML模型的基本要求是从与培训不同的测试分布中汲取的数据概括。解决此问题的一个流行解决方案是,仅使用未标记的数据将预训练的模型调整为新的域。在本文中,我们关注该问题的挑战性变体,其中访问原始源数据受到限制。虽然完全测试时间适应(FTTA)和无监督的域适应性(UDA)密切相关,但由于大多数UDA方法需要访问源数据,因此UDA的进展不容易适用于TTA。因此,我们提出了一种新方法,即Cattan,它通过放松了通过新颖的深层子空间对准策略来放松访问整个源数据的需求,从而弥合了UDA和FTTA。通过为源数据存储的子空间基础设置的最小开销,Cattan在适应过程中可以在源数据和目标数据之间进行无监督的对齐。通过对多个2D和3D Vision基准测试(Imagenet-C,Office-31,OfficeHome,Domainnet,PointDa-10)和模型体系结构进行广泛的实验评估,我们在FTTA性能方面表现出显着提高。此外,即使使用固有健壮的模型,预训练的VIT表示以及目标域中的样本可用性低,我们也会对对齐目标的实用性做出许多关键发现。
translated by 谷歌翻译
这是两部分纸的第二部分,该论文着重于具有非线性接收器的多用户MIMO(MU-MIMO)系统的链接适应(LA)和物理层(PHY)抽象。第一部分提出了一个新的指标,称为检测器,称为比率解码率(BMDR),是非线性接收器的等效量等效的信号与交换后噪声比率(SINR)。由于该BMDR没有封闭形式的表达式,因此有效地提出了基于机器学习的方法来估计其。在这一部分中,第一部分中开发的概念用于开发LA的新算法,可用检测器列表中的动态检测器选择以及具有任意接收器的MU-MIMO系统中的PHY抽象。提出了证实所提出算法的功效的广泛仿真结果。
translated by 谷歌翻译
Link-Adaptation(LA)是无线通信的最重要方面之一,其中发射器使用的调制和编码方案(MCS)适用于通道条件,以满足某些目标误差率。在具有离细胞外干扰的单用户SISO(SU-SISO)系统中,LA是通过计算接收器处计算后平均值 - 交换后噪声比(SINR)进行的。可以在使用线性探测器的多用户MIMO(MU-MIMO)接收器中使用相同的技术。均衡后SINR的另一个重要用途是用于物理层(PHY)抽象,其中几个PHY块(例如通道编码器,检测器和通道解码器)被抽象模型取代,以加快系统级级别的模拟。但是,对于具有非线性接收器的MU-MIMO系统,尚无等效于平衡后的SINR,这使LA和PHY抽象都极具挑战性。这份由两部分组成的论文解决了这个重要问题。在这一部分中,提出了一个称为检测器的称为比特 - 金属解码速率(BMDR)的度量,该指标提出了相当于后平等SINR的建议。由于BMDR没有封闭形式的表达式可以启用其瞬时计算,因此一种机器学习方法可以预测其以及广泛的仿真结果。
translated by 谷歌翻译
深度神经网络是参数化的数千或数百万个参数,并且在许多分类问题中表现出巨大的成功。然而,大量参数使得难以将这些模型集成到智能手机和可穿戴设备的边缘设备中。为了解决这个问题,知识蒸馏(KD)已被广泛采用,它使用预先训练的高容量网络来培训更小的网络,适用于边缘设备。本文首次研究了使用KD用于可穿戴设备的时间序列数据的适用性和挑战。 KD的成功应用需要在培训期间需要具体的数据增强方法。然而,如果在KD期间存在用于选择增强方法的相干策略,则尚不清楚。在本文中,我们报告了详细研究的结果,这些研究比较和对比基于KD的人类活动分析中的各种常见选择和一些混合数据增强策略。该领域的研究通常是有限的,因为公共领域没有可穿戴设备的全面数据库。我们的研究将数据库视为公共规模的数据库,以源于大规模介入研究的人类活动和久坐行为。我们发现,在KD期间的数据增强技术的选择具有对最终性能的可变影响程度,并发现最佳网络选择以及数据增强策略特定于手头的数据集。但是,我们还通过一系列关于数据库提供强大基线表现的一般建议。
translated by 谷歌翻译
域泛化(DG)方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中,我们专注于多源零拍DG的挑战性问题,其中来自多个源域的标记训练数据可用,但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题,但令人惊讶的是,将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是,即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中,我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种,我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后,我们介绍了一种用于多域泛化,Muldens的一般方法,它使用基于ERM的深度合并骨干,并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究,我们表明Muldens不需要定制增强策略或特定于数据集的培训过程,始终如一地优于ERM,通过显着的边距,即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。
translated by 谷歌翻译
本文通过将MD势能分量引入我们的生成模型,我们利用了生成模型,并在分子动力学(MD)模拟中的问题进行了重构。通过将潜在的能量纳入从TORCHMD进入条件的生成框架,我们试图在螺旋〜$ \ Lightarrow $〜蛋白的线圈结构之间构建低势能的转化途径。我们展示了如何为条件生成模型添加额外的损失功能,其通过分子配置的潜在能量为动机,并且还提出了一种用于这种增强损耗功能的优化技术。我们的结果表明,这种额外的损失术语在合成现实分子轨迹上的好处。
translated by 谷歌翻译